0 前言
这本由十章组成的笔记将向读者介绍线性代数的基本原理,及其在现代工程与科学诸多学科中的应用,包括信号处理、控制理论、过程控制、应用统计学、机器人学等。我们假定读者已具备与大学一年级线性代数课程相当的背景知识,对概率论和统计学有初步了解,并掌握傅里叶变换的基础知识。
第一章确立了课程后续部分所需的一些基本概念。首先,我们探讨了线性代数的一些基本思想,如线性无关 (linear independence)、子空间 (subspaces)、秩 (rank)、零空间 (nullspace)、值域 (range) 等,以及这些概念之间的相互关系。接着,讨论并解释了自相关 (autocorrelation) 的概念以及信号的协方差矩阵 (covariance matrix)。
在第二章中,介绍了最基本的矩阵分解,即所谓的特征分解 (eigendecomposition)。本章的重点在于直观地揭示这种分解的作用。我们通过 Karhunen-Loeve变换 来说明特征分解的应用。这样,读者便能熟悉这种分解的重要性质。随后,Karhunen-Loeve变换被推广为更广泛的变换编码 (transform coding) 思想。
在第三章中,我们详细讲解了奇异值分解 (singular value decomposition, SVD),它与矩阵的特征分解密切相关。我们阐述了这两种分解之间的关系,并探讨了SVD的各种性质。
第四章讨论二次型 (quadratic form) 及其与特征分解的关系,并初步介绍了浮点数系统中的误差机制 (error mechanisms)。此外,本章还阐述了矩阵的条件数 (condition number),它是在确定线性方程组 (linear equations) 解的相对误差下界 (lower bound) 时的关键部分。
第五章和第六章讨论了通过高斯消元法 (Gaussian elimination) 求解线性方程组。高斯消元过程通过一种更大分块矩阵的方法来描述,该方法能引出其他有用的分解,例如对称方阵的Cholesky分解。
第七至十章致力于求解最小二乘问题 (least-squares problems)。第七章阐述了标准最小二乘问题 (standard least squares problem) 及其解法。在第八章,我们提出了一种广义**“伪逆” (pseudoinverse)** 方法来求解最小二乘问题。第九章阐述了QR分解,其在线性最小二乘问题求解中的应用在第十章进行了讨论。
最后,在第十一章中,阐述了托普利兹 (Toeplitz) 方程组的解法及其相关理论。
1 基本概念
本讲旨在回顾线性代数中的重要基本概念,为后续课程奠定基础。我们首先从“大块”(big block)的视角来讨论矩阵乘法、线性无关、子空间及相关思想、秩等基本构成要素,这些是线性代数严谨体系的基石。接着,我们将讨论向量范数以及矩阵乘法运算的多种解读。本章最后将以行列式的讨论作结。
1.1 符号表示
在本课程中,我们将用符号
同样地,符号
此外,我们用符号
按照惯例,向量默认指列向量。对于一个矩阵
1.2 “大块”视角下的矩阵乘法解读
我们定义矩阵乘积
该运算的三种解读如下:
1.2.1 内积表示
如果
1.2.2 列表示
这是矩阵乘法的一种更大块的视角。在这里,我们着眼于一次形成乘积的一列。
这个运算与上面的内积表示法是相同的,只是我们一次形成一列。例如,如果我们只计算第
1.2.3 外积表示
这是最大块的表示法。我们定义一个列向量
现在,令
通过一次考察一列,我们可以看到这种形式的矩阵乘法与上面的列表述执行的是完全相同的操作。例如,乘积的第
1.2.4 矩阵的左乘与右乘
现在我们来看一些区分矩阵左乘和右乘的基本思想。在这方面,考虑矩阵
示例:
- 考虑一个适当维度的标准正交矩阵 (orthonormal matrix)
。我们知道,乘以一个标准正交矩阵会产生旋转操作。操作 旋转 的每一列。操作 旋转每一行。
还有另一种方式来解读左乘和右乘。再次考虑矩阵
这两种解读都是同样有效的。熟练掌握本节中的各种表示法,是精通线性代数领域的重要一步。
1.3 基础线性代数
1.3.1 线性无关
假设我们有一个由
换言之:
式 (4) 意味着,一个向量集合是线性无关 (linearly independent) 的,当且仅当这些向量的唯一零线性组合是系数全为零的组合。
一个由
请注意,一个向量集合
示例 1
这个集合是线性无关的。另一方面,集合
不是线性无关的。这是因为第三列是前两列的线性组合。(-1 乘以第一列加上 -1 乘以第二列等于第三列。因此,在 (4) 式中导致结果为零的系数
1.3.2 张成、值域与子空间
在本节中,我们将探讨这三个密切相关的概念。事实上,它们的数学定义几乎相同,但在每种情况下的解释有所不同。
张成 (Span):
一个向量集合
换句话说,
张成空间中的向量集合被称为向量空间 (vector space)。向量空间的维度是构成该空间的线性组合中线性无关向量的数量。请注意,向量空间的维度不是构成线性组合的向量的维度(长度)。
示例 2: 考虑图 1 中的以下两个向量:
这两个向量的张成是这张纸所在的(无限延伸的)平面。
子空间 (Subspaces):
给定一个向量集合(空间)
- 如果
和 在子空间中,那么 仍然在子空间中。 - 如果我们将子空间中的任意向量
乘以一个标量 ,那么 仍然在子空间中。
这两个要求意味着,对于一个子空间,其中向量的任何线性组合本身也在该子空间内。将这个概念与张成的概念相比较,我们发现由向量
因此,形式上,
请注意,
- 示例 1 中向量
的张成是什么?
值域 (Range):
矩阵
我们可以根据矩阵乘法的列表示 (2) 来解释上面的矩阵-向量乘法
示例 3:
在
1.3.3 极大线性无关组 (Maximally Independent Set)
这是一个向量集合,它不能在不失去无关性的情况下变得更大,也不能在保持极大性的情况下变得更小;即,它是一个包含张成该空间的最大数量的无关向量的集合。
1.3.4 基 (A Basis)
一个子空间的基 (basis) 是该子空间内的任意一个极大线性无关组。它不是唯一的。
示例 4. 对于由以下矩阵前两列张成的子空间
的一个基是
[2]或在
1.3.5 正交补子空间 (Orthogonal Complement Subspace)
如果我们有一个由向量
即,
示例 5: 取示例 4 中定义
那么,
1.3.6 秩 (Rank)
秩是一个重要的概念,我们将在整个课程中频繁使用。在这里,我们只简要描述秩的几个基本特征。这个概念将在后续章节中更充分地展开。
- 矩阵的秩 (rank) 是其线性无关的行或列的最大数量。因此,它是该矩阵的列(或行)的基的维度。
的秩(记作 )是 的维度。 - 如果
,且 ,那么 。 - 如果一个矩阵
的秩小于 ,则称其为秩亏 (rank deficient)。否则,称其为满秩 (full rank)。 - 如果
是方阵且秩亏,则 。 - 可以证明
。稍后会对此进行更多说明。
如果一个矩阵的秩等于其列(行)的数量,则称其为列满秩 (full column rank)(或行满秩 (full row rank))。
示例: 示例 4 中
1.3.7 A的零空间 (Null Space of A)
根据之前的讨论,乘积
示例 6: 令
另一个例子如下。取 3 个向量
矩阵的另一个重要特征是它的零度 (nullity)。
1.4 矩阵的四个基本子空间
我们关注的四个矩阵子空间是:列空间 (column space)、行空间 (row space),以及它们各自的正交补空间 (orthogonal complements)。这四个子空间的建立与
1.4.1 列空间 (The Column Space)
这即是
1.4.2 列空间的正交补空间 (The Orthogonal Complement of the Column Space)
这可以表示为
其中
1.4.3 行空间 (The Row Space)
行空间简单地定义为
1.4.4 行空间的正交补空间 (The Orthogonal Complement of the Row Space)
这可以表示为
因此,满足 (16) 的向量集合
我们之前已经注意到
1.5 向量范数 (Vector Norms)
向量范数 (vector norm) 是一种表示与向量相关的长度或距离的方法。向量空间
对于所有 。 当且仅当 。 对于 。 对于 。
我们用
p-范数 (
如果
这即是各元素绝对值之和。
如果
这就是我们熟悉的欧几里得范数。
如果
即
其中
请注意,
1.6 行列式 (Determinants)
考虑一个方阵
矩阵的行列式可以通过以下表达式计算:
或者
以上两者都被称为行列式的代数余子式展开 (cofactor expansion)。式 (19) 是沿
式 (19) 和 (20) 用
从 (19) 明显可知,如果
行列式的性质 (Properties of Determinants)
在开始讨论之前,我们先定义由构成矩阵的列向量集合所定义的平行多面体的体积为该矩阵的主积 (principal volume)。
我们有以下行列式的性质,这些性质在此不加证明地陈述:
。 矩阵乘积的主积是每个矩阵主积的乘积。 这个性质表明 和 的特征多项式[4]是相同的。因此,我们稍后会看到, 和 的特征值是相同的。 。 这反映了一个事实,即如果定义主积的每个向量都乘以 ,那么最终的体积将乘以 。 是奇异的。 这意味着相应矩阵的主积至少有一个维度坍缩为零长度。 ,其中 是 的特征(奇异)值。 这意味着由矩阵的列或行向量定义的平行多面体可以变换成一个具有相同 维体积的规则矩形实体,其边长对应于矩阵的特征(奇异)值。 标准正交矩阵[5]的行列式为
。 这很容易看出,因为标准正交矩阵的向量都是单位长度且相互正交。因此,相应的主积为 。 如果
是非奇异的,那么 。 如果
是非奇异的,那么 。 如果
是通过交换 的任意两行(或列)得到的,那么 。 如果
是通过将 的一行的标量倍加到另一行(或一列的标量倍加到另一列)得到的,那么 。
行列式的一个进一步性质允许我们计算
其中
也可以证明
然后,将 (22) 和 (23) 对
其中
行列式的一个进一步性质允许我们计算
其中
也可以证明
然后,将 (22) 和 (23) 对
其中
无论是 (19) 还是 (25) 都不是计算行列式或逆矩阵的计算效率高的方法。利用各种矩阵分解性质的更好方法将在课程的后续部分变得显而易见。
2 第二讲
本讲在随机过程的卡尔胡宁-洛维 (Karhunen-Loeve, KL) 展开背景下,讨论特征值 (eigenvalues) 和特征向量 (eigenvectors)。我们首先讨论特征值和特征向量的基本原理,然后转向协方差矩阵 (covariance matrices)。接着,将这两个主题结合到 K-L 展开中。最后,以一个阵列信号处理 (array signal processing) 领域的例子作为代数思想的应用。
本讲的一个主要目标是,通过展示特征值和特征向量在信号处理领域的一个非常重要的应用,来揭开其概念的神秘面纱。
2.1 特征值与特征向量
假设我们有一个矩阵
我们来研究它的特征值和特征向量。
假设我们计算乘积
通过比较向量
现在考虑
现在让我们来看一个更有趣的情况。假设
注意,
因此我们有,如果
即,向量
现在我们已经理解了特征向量的基本思想,我们继续深入探讨。式 (3) 可以写成如下形式
其中
其中
很容易验证,这个多项式的根是 (5, 3),这与上面指出的特征值相对应。
式 (5) 被称为
更一般地,如果
如果特征值都是互异的 (distinct),那么存在
重复特征值 (Repeated Eigenvalues): 在有例如
事实上,考虑与
示例 1: 考虑矩阵
可以很容易地验证,在
示例 2: 考虑
式 (5) 为我们提供了如何计算特征值的线索。我们可以构建特征多项式并求解其根以得到
现在我们介绍特征值和特征向量的一些非常有趣的性质,以帮助我们理解。
性质 1 如果一个(厄米特)[6]对称矩阵的特征值是互异的,那么其特征向量是正交的 (orthogonal)。
证明: 令
并且
用
当
从 (11) 中减去 (10),我们得到
这里我们用到了
这里我们只考虑了特征值互异的情况。如果一个特征值
对称矩阵特征值的另一个有用性质如下:
性质 2 一个(厄米特)对称矩阵的特征值是实数 (real)。
证明:[8] (通过反证法):首先,我们考虑
虽然这个证明只考虑了实对称情况,但它很容易推广到
性质 3 设
证明: 从特征向量的定义,我们有
性质 4 设
- 行列式
。 - 迹[9]
。
证明是直接的,但使用后续课程中介绍的概念会更容易,因此这里不给出。
性质 5 如果
证明通过将
2.1.1 标准正交矩阵 (Orthonormal Matrices)
在进行矩阵的特征分解之前,我们必须建立标准正交矩阵 (orthonormal matrix) 的概念。这种形式的矩阵具有相互正交的列,且每一列的范数为单位1。这意味着
其中
(当
因此,对于一个标准正交矩阵,(14) 意味着其逆矩阵可以通过简单地取矩阵的转置来计算,这个操作几乎不需要计算量。
式 (14) 直接源于
显然,要使 (15) 成立,量
性质 6 向量 2-范数在标准正交变换下是不变的 (invariant)。
如果
因此,因为范数不变,标准正交变换对向量执行的是旋转 (rotation) 操作。我们在后续研究最小二乘问题时会使用这个范数不变性。
假设我们有一个矩阵
假设我们有一个向量
标准正交矩阵有时被称为酉矩阵 (unitary matrix)。这是因为标准正交矩阵的行列式是
2.1.2 方形对称矩阵的特征分解 (ED)
几乎所有执行 ED 的矩阵(至少在信号处理中)都是对称的。一个很好的例子是协方差矩阵,我们将在下一节详细讨论。
令
设特征向量被归一化为单位 2-范数。那么这
其中
(17) 式两边的对应列代表 (16) 式中索引
式 (19) 被称为
注意,从 (19) 式可知,
式 (19) 也可以写成
由于
2.1.3 关于特征值索引的常规表示法
令
即,我们对 (17) 式的列进行重新排序,使得
特征向量被重新排序以对应于特征值的排序。为方便记法,我们称对应于最大特征值的特征向量为“最大特征向量”。“最小特征向量”则是对应于最小特征值的特征向量。
2.2 特征分解与基本矩阵子空间的关系
在本节中,我们阐述矩阵的特征分解与其值域、零空间和秩之间的关系。
在这里,我们考虑秩为
其中
我们还有
并且
在上述表示法中,非对角位置上明确缺少的矩阵元素意味着该元素为零。我们现在展示划分 (22) 揭示了关于
2.2.1 零空间 (Nullspace)
在本节中,我们探讨划分 (22) 与
从 (22) 式,我们有
我们现在选择
从 (28) 式可以清楚地看到,当且仅当
由于
此外,从 (28) 我们看到,条件
因此,我们有一个重要的结果:如果
2.2.2 值域 (Range)
让我们结合分解 (22) 来考察
向量量
在上面,可以理解的是,如果
让我们定义
其中
从 (31) 式,我们看到
2.3 矩阵范数 (Matrix Norms)
现在我们对特征向量和特征值有了一定的理解,接下来可以介绍矩阵范数 (matrix norm)。矩阵范数与向量范数相关:它是一个将
矩阵 p-范数 (Matrix p-Norms): 矩阵 p-范数是根据向量 p-范数定义的。任意矩阵
其中,“sup”表示上确界 (supremum);即,在所有
我们现在为
因此,我们对量
求导,并令结果为零。上面的量
因此,(34) 的驻点是
由此可见,(34) 的解由对应于
更一般地,在下一讲中将显示,对于任意矩阵
其中
对于其他
和
弗罗贝尼乌斯范数 (Frobenius Norm): 弗罗贝尼乌斯范数是由矩阵
2.3.1 矩阵范数的性质
- 考虑矩阵
和向量 。那么,
这个性质可以通过将上式两边除以
和
因此,我们看到矩阵 2-范数和弗罗贝尼乌斯范数在通过标准正交矩阵进行左乘和右乘时是不变的。 3. 此外,
其中
2.4 协方差矩阵 (Covariance Matrices)
在这里,我们研究与平稳离散时间随机过程
上面使用的“平稳 (stationary)”一词意味着随机过程对应的联合
图 2:接收信号
描述向量样本
对应于平稳或 WSS 过程
其中
其中
让我们将图 2 中所示的过程与图 3 中所示的过程进行比较。在前一种情况下,我们看到过程变化相对缓慢。因为我们假设
然而,对于图 3 所示的过程,相邻样本彼此不相关。这意味着相邻样本具有相反符号的可能性与具有相同符号的可能性一样大。平均而言,具有正值的项与具有负值的项具有相同的幅度。因此,当取期望
序列
在实践中,使用如 (44) 中的期望来评估协方差矩阵
如果使用 (46) 来评估
有趣的是,
该陈述的证明留作练习。
图 3:一个不相关的离散时间过程
是(厄米特)对称的,即 ,其中 表示复共轭。 - 如果过程
是平稳或宽义平稳的,那么 是托普利兹 (Toeplitz) 矩阵。这意味着矩阵的任何给定对角线上的所有元素都相等。如果你理解了这个性质,那么你就对协方差矩阵的性质有了很好的理解。 - 如果
是对角的,那么 的元素是不相关的。如果 的非对角元素相对于主对角线上的元素的大小是显著的,那么该过程被称为高度相关 (highly correlated)。 是半正定的 (positive semi-definite)。这意味着所有的特征值都大于或等于零。我们将在后面讨论正定性和半正定性。 - 如果平稳或 WSS 随机过程
具有高斯概率分布,那么向量均值和协方差矩阵 就足以完全指定该过程的统计特性。
2.5 随机过程的卡尔胡宁-洛维展开
在本节中,我们将我们所学的关于特征值和特征向量以及协方差矩阵的知识,结合到随机过程的 K-L 正交展开 (K-L orthonormal expansion) 中。K-L 展开在图像和语音信号的压缩 (compression) 中非常有用。
向量
其中
系数
对于每个向量观测
其中
2.5.1 K-L展开的推导
图 4 展示了与图 2 所示类型的缓慢变化随机过程 (slowly-varying random process) 对应的散点图。散点图是点的集合,其中第
为了对比,图 5 展示了一个类似的散点图,但其基础随机过程是白噪声。这里,过程的相邻样本之间没有相关性,因此在这种情况下,散点图没有对角线集中。这个散点图是一个
图 4:向量
图 5:与图 4 类似,但基础随机过程是白噪声。
正如我们稍后在本节中看到的,如果我们希望存储或传输这样的随机过程,当过程高度相关时,使用传统的坐标系
寻找一个最优坐标系来表示我们的随机过程的建议方法是,找到一个基向量
确定
其中期望是在
这里我们假设了一个零均值过程。上面的优化问题与 2.3 节中矩阵范数的问题完全相同,其中显示了 (52) 中参数的驻点 (stationary points) 是
在下文中,K-L 展开使用以下表示法:
和
其中
因此,
到第四讲,我们将有足够的知识来证明特征向量沿着图 4 的散点图椭球体的主轴对齐。在高度相关的系统中,由于散点图椭圆的主轴具有递减的幅度(如图 4 所示),最小系数的方差通常远小于较大系数的方差。
问题: 假设过程
要回答这个问题,我们看到
2.5.2 K-L 展开的性质
性质 7 K-L 展开的系数
为了证明这一点,我们使用定义 (54) 来评估
由于
性质 8 第
性质 9 高度相关随机过程
这个性质可以从图 4 的散点图中直观地证明,因为第一主轴的长度大于第二主轴的长度。(这种效应在更高维度上变得更加明显。)然而,在这里我们希望正式地证明这个性质。
我们用
为了进一步深入了解这两组特征值的行为,我们考虑哈达玛不等式 (Hadamard's inequality)[16],它可以表述为:
考虑一个方阵
。那么, , 等号成立当且仅当 是对角矩阵。
根据哈达玛不等式,
为了进一步说明这种现象,考虑一个极端情况,即过程变得如此相关,以至于其协方差矩阵的所有元素都趋于相同的值。(如果过程
2.5.3 K-L 展开的应用
假设一个通信系统传输一个平稳、零均值、高度相关的序列
但是如果
为了实现这种形式的信号压缩,假设我们通过只保留前
其中系数
原始信号的近似
根据性质 8,K-L 重构
它对应于被截断的(最小的)特征值的总和。很容易证明没有其他基能产生更小的误差。使用任何基
其中最后一行使用了 (51) 和 (52)。我们之前已经看到特征向量是上面和中每一项的驻点。由于和中的每一项都是半正定的,通过最小化每一项可以使
例如,在语音应用中,只需要不到十分之一的系数就可以实现几乎无法察觉的降级重构。注意,由于
现在通过一个例子来说明变换编码。一个过程
图 6:生成高度相关过程 x[n]
我们以
特征值:
0.5468
0.1975
0.1243 × 10⁻¹
0.5112 × 10⁻³
0.2617 × 10⁻⁴
0.1077 × 10⁻⁵
0.6437 × 10⁻⁷
0.3895 × 10⁻⁸
0.2069 × 10⁻⁹
0.5761 × 10⁻¹¹图 7:巴特沃斯低通滤波噪声示例中,前两个特征向量分量作为时间的函数。
因此,对于
对应的两个主要特征向量 (principal eigenvectors) 绘制在图 7 中。这些图显示了特征向量的第
在这种情况下,我们期望任何观测值
图 8:原始向量样本
在编码中使用 K-L 展开的一个实际困难是,在实际情况下,当观测信号是轻度或严重非平稳时(例如语音或视频信号),特征向量集
2.6 示例:阵列处理
在这里,我们提供了我们迄今为止所发展的概念的进一步示例。这个例子关注的是使用传感器阵列进行到达方向 (direction of arrival) 估计。
考虑一个由
其中 $\mathbf{w}_n = $ 在时间
在 (60) 中,我们通过在
注意
最后一行是因为噪声与信号不相关,从而迫使交叉项为零。在 (61) 的最后一行,我们还利用了噪声贡献(第二项)的协方差矩阵是
让我们看看
从这个结构中,我们可以得出结论,
现在让我们研究
或
因为
从特征向量的定义,我们有
或
由于
我们定义矩阵
我们还有
到目前为止,我们只考虑了无噪声的情况。当噪声分量
有了这些背景知识,我们现在可以讨论 MUSIC[22] 算法,用于估计入射到传感器阵列上的平面波的到达方向。
2.6.1 MUSIC 算法[23]
我们希望估计构成
只有当
按照惯例,希望将 (73) 表示为类似谱的函数,其中峰值而不是零点代表所需的信号。使用平方范数而不是范数本身也很方便。因此,MUSIC “谱”
当
图 10:K=2个信号时MUSIC谱P(φ)
2.7 总结
- 矩阵
的一个特征向量 使得 指向与 相同的方向。 - 随机过程
的协方差矩阵 定义为 。对于平稳过程, 完全表征了该过程,并与其协方差函数密切相关。在实践中,期望操作被时间平均所取代。 的特征向量形成了一个表示 的自然基,因为只有特征向量才能对角化 。这导致了相应展开 的系数 是不相关的。这在语音/视频编码中有重要应用。 - 上述系数平方的期望是
的特征值。这给出了沿每个特征向量存在的相对功率的概念。 - 如果变量
是高斯的,那么 K-L 系数是独立的。这大大简化了接收机的设计和分析。
这些要点中许多都是只有特征向量才能对角化矩阵这一事实的直接结果。这基本上是特征值/特征向量如此有用的唯一原因。我希望这有助于揭开这个主题的神秘面纱。一旦你看到只有特征向量才能对角化,那么它们是过程
特征值的一个解释是,它代表了 K-L 展开中每个系数的平均能量。
式 (4) 被称为向量
的线性组合 (linear combination)。每个向量乘以一个权重(或系数) ,然后将结果求和。 ↩︎ 向量
被称为基本向量 (elementary vector),它在第 个位置为 1,其余位置均为零。 ↩︎ 列秩亏是指矩阵的秩小于其列数。 ↩︎
矩阵的特征多项式在第二章中定义。 ↩︎
标准正交矩阵在第二章中定义。 ↩︎
对称矩阵 (symmetric matrix) 指的是
,其中上标 表示转置,即对于对称矩阵,元素 。厄米特对称 (Hermitian symmetric)(或简称厄米特)矩阵仅与复数情况相关,指的是 ,其中上标 表示厄米特转置。这意味着矩阵先转置再复共轭。因此对于厄米特矩阵,元素 。在本课程中,我们通常只考虑实数矩阵。然而,当考虑复数矩阵时,厄米特对称将替代对称的含义。 ↩︎ 在这里,我们使用了对于维度相容的矩阵或向量
和 ,有 的性质。 ↩︎ 来自 Lastman 和 Sinha 的《Microcomputer-based Numerical Methods for Science and Engineering》。 ↩︎
方阵的迹 (trace),记作
,是其主对角线(也称为“对角线”)上元素的总和。 ↩︎ 这仅在
和 是方阵可逆时成立。 ↩︎ 这个证明留作练习。 ↩︎
A. Papoulis,《概率、随机变量和随机过程》,McGraw Hill,第 3 版。 ↩︎
具有此性质的过程被称为遍历 (ergodic) 过程。 ↩︎
Haykin,《自适应滤波器理论》,Prentice Hall,第 3 版。 ↩︎
的展开通常只需要基向量是线性无关的——不一定是标准正交的。但标准正交基向量最常用,因为它们可以用 (49) 的非常简单的形式进行求逆。 ↩︎ 证明请参考 Cover 和 Thomas 的《信息论基础》。 ↩︎
这不一定是一个有效的假设。我们将在本节后面进一步讨论这一点。 ↩︎
K.R. Rao and P. Yip, "Discrete Cosine Transform– Algorithms, Advantages, Applications". ↩︎
可以证明,如果
,那么电角度 和对应的物理角度 之间存在一对一的关系。事实上, 。我们只能观察到电角度 ,而不是期望的物理角度 。因此,我们从这个数学关系中,从观察到的电角度推断出期望的物理角度。 ↩︎ 注意,特征值零具有
的多重性。因此,特征向量 不是唯一的。然而,存在一组与其余特征向量正交的标准正交特征向量。因此我们可以像对待互异的特征向量一样对待零特征向量。 ↩︎ 我们定义所谓的信号子空间
为 (64),以及噪声子空间 为 (65)。我们现在简要讨论这两个子空间。根据我们上面的讨论, 的所有列都是 的列的线性组合。因此, (66)。但也很容易验证 (67)。比较 (66) 和 (67),我们看到 。从 (60) 我们看到,在没有噪声的情况下,任何接收到的信号向量 都是 的列的线性组合。因此,任何无噪声信号完全驻留在 中。这就是“信号子空间”这个术语的来源。此外,接收信号的任何驻留在 中的分量必须完全是由于噪声。这就是“噪声子空间”这个术语的来源。我们注意到信号和噪声子空间是彼此的正交补子空间。 ↩︎ 这个词是MUltiple SIgnal Classification的首字母缩写。 ↩︎
R.O. Schmidt, "Multiple emitter location and parameter estimation", IEEE Trans. Antennas and Propag., vol AP-34, Mar. 1986, pp 276-280. ↩︎